Jurgen Klinsmann telah dilahirkan pada 30 Julai 1964 di Goppingen, Jerman Barat. Ibu bapanya adalah Siegfried Klinsmann dan Martha Klinsmann. Bapanya merupakan seorang pembuat roti dan mempunyai kedai bakerinya sendiri. Jurgen mempunyai tiga abang.

Beliau mula bermain bola sepak sejak kecil dan pada usia lapan tahun, beliau bermain untuk kelab bukan-profesional, TB Gingen sebelum beliau menjadi penjaring gol prolifik kelab. Pada usia sepuluh tahun, beliau berpindah ke SC Geislingen. Apabila Jurgen mencapai usia 14 tahun, keluarganya berpindah ke Stuttgart berikutan keputusan ayahnya ingin membuka bakerinya di bandar itu. Jurgen seterusnya menandatangani kontrak bersama kelab Stuttgarter Kickers pada usia 16 tahun.